Beneath the Surface of Chains-of-Thought: A Mechanistic Interpretation of Reasoning Operations in LLMs
链式思维表象之下：LLM推理操作的机制性解释
🧭 推理操作表示几何与机制分析
KAIST · NAVER AI Lab
发现CoT中的问题表述、目标分解、演绎等操作在隐藏表示中可分离，中层最显著并依赖前文推理上下文
📌 工作参考价值（3 点）
- 在 Agent / 搜索推理链路中，可以对 LLM 隐藏状态使用轻量线性探针识别当前是「问题表述 / 目标分解 / 演绎」阶段；中层特征最有效，可用于推理步骤质量监控、异常检测或动态路由，无需完整解析文本。
- 如果做长 CoT 缓存 / 截断、KV cache 压缩，不能只保留最近片段或表层 token：前文推理上下文对后续 chunk 起始的 operation-aligned 表示很重要，否则会破坏阶段一致性。
- 相同表层 token 在不同推理操作中表示不同，说明下游使用 CoT 表示或 embedding 复用时，应按「推理操作上下文」而非字面 token 设计状态表示；这对多阶段推荐 Agent 的 context 工程有参考价值。